Human-in-the-Loop Nugget Annotation for Accountable LLM-as-a-Judge Evaluations
面向可问责 LLM 法官评估的人机协同金块标注
🧭 人机协同评估 · 锚定偏差消除
University of New Hampshire
提出人定义信息金块、LLM 匹配系统输出的分工，消除评估锚定偏差并保持人类监督
📌 工作参考价值（4 点）
- 构建领域信息点库（Nugget Bank）：在电商搜索、推荐或Agent评估中，先由业务专家定义每条查询/任务应覆盖的关键信息点（如商品属性、政策限制），LLM自动匹配输出是否覆盖这些点，实现低成本可复用的自动评分。
- 消解锚定偏差的标注流程：通常人工评估时若先看到机器输出，容易盲目同意（橡皮图章）。借鉴本文，人工先独立标注信息需求（金块），之后再看系统输出或让LLM做匹配，保护人类判断独立性。
- 高方差任务的人机分工：推荐解释、Agent决策理由等开放式输出，人类直接打分一致性低。改用“金块”原子化评估维度，让LLM承担细粒度匹配，人类只需定义标准，提升评估稳定性。
- 自动评分结合人工监督：金块库经专家审核后，可持久化用于线上评估，结合自动匹配形成半自动评估流水线，兼顾问责与效率。